#LLM Serving

AI 업데이트: LLM 서빙과 Diffusion 언어모델

🤖 0 in / 0 out / 0 total tokens LLM 인프라는 이제 모델 성능만큼이나 라우팅, 캐시, 지역 분산 최적화가 중요해지는 단계다. 핫 토픽 GORGO: Cross-Region LLM Serving을 온라인으로 튜닝하는 방법 GORGO는 전 세계에 흩어진 LLM inference replica로 요청을 프록시할 때, 어떤